大綱

1. 爬蟲概述
   • 什麼是網路爬蟲：介紹網路爬蟲的基本概念和用途。
   • 爬蟲的應用場景：如資料擷取、數據分析等。
2. 環境準備
   • 安裝 Python：指導如何安裝 Python 環境。
   • 安裝 pip3：確認 pip3 是否已安裝，並介紹其用途。
   • 安裝必要函式庫：requests beautifulsoup4
3. 基本操作
   • 發送 HTTP 請求:使用 requests 庫發送 GET 請求。
4. 使用 BeautifulSoup 解析 HTML
   • HTML 基礎知識：介紹 HTML 結構及常見標籤。
   • 使用 BeautifulSoup 解析網頁內容
5. 實作專案
   • PTT 網頁爬蟲：爬取特定版面的文章標題和連結。
6. 常見問題與解決方案
   • 反爬蟲技術：如何處理網站的反爬蟲機制。
   • 錯誤處理：如何處理請求失敗或解析錯誤的情況。
7. 總結與進階學習資源
   • 進階主題：如 Selenium、自動化測試等

爬蟲概述

什麼是網路爬蟲
網路爬蟲（Web Crawler），也稱為網路蜘蛛（Spider），是一種自動化的軟體應用程式，旨在自動瀏覽互聯網並執行特定任務。這些任務通常涉及向網站發送請求，獲取網頁內容，並從中提取有用的資訊。許多搜尋引擎（如 Google 和 Bing）使用網路爬蟲來收集和索引網站內容，以便用戶在搜尋時能夠快速找到相關資料。
當用戶在瀏覽器中打開一個網頁時，實際上是向伺服器發送請求（request），伺服器再回傳相應的資料（response）。網路爬蟲則是自動化這一過程，能夠高效地擷取伺服器回傳的特定資料，並進行後續分析和處理

爬蟲的應用場景
網路爬蟲的應用範圍非常廣泛，主要包括以下幾個方面：
資料擷取：許多開發者使用爬蟲技術從各種網站上提取數據，例如價格比較、新聞聚合、社交媒體數據分析等。
數據分析：爬取大量數據後，可以進行深入分析，幫助企業做出更明智的決策，例如市場趨勢分析、用戶行為研究等。
搜尋引擎索引：搜尋引擎利用爬蟲收集網站內容並建立索引，使得用戶能夠快速搜尋到所需資訊。
競爭對手監控：企業可以使用爬蟲監控競爭對手的網站，以獲取有關產品價格、促銷活動和市場策略的信息。

爬蟲如何偽裝成真人以避免被阻擋

在進行網頁爬取時，需採取多種措施將爬蟲偽裝成人類的正常行為，降低被伺服器偵測和阻擋的風險。以下是幾個重要的策略：

1. 儘量減少請求次數
   目標：用最少的請求獲取最多的資料。
   方法 1：一次抓取整個網頁的完整數據，並在本地篩選需要的部分。
   方法 2：請求能夠返回大量數據的 API 或多項內容的頁面，避免頻繁多次抓取。
   建議工具：開發時可使用 .ipynb（Jupyter Notebook），分段執行代碼，每次修改後僅重新執行特定的部分。這樣可以避免多次向伺服器發送請求。開發完成後再將代碼移至 .py 檔案中運行。

2. 本機處理速度優先於伺服器請求
   爬蟲應在本地快速篩選和處理抓取到的資料，減少與伺服器的互動次數：
   策略：
   一次性抓取整頁資料，減少重複請求。
   抓取後在本地使用正則表達式或解析工具（如 BeautifulSoup）提取所需的部分。

3. 避免高頻率請求

• 風險：高頻率請求會被伺服器判斷為非正常行為，甚至視為阻斷服務攻擊（DoS）。
• DoS：單一來源高頻率請求，可能導致伺服器拒絕服務。
• DDoS：多個來源同時發動請求，伺服器可能會封鎖 IP 或帳號。

解決方案：

• 在每次請求之間加入隨機延遲時間，例如使用 time.sleep() 或專門的隨機延遲模組（如 fake_useragent 和 random）。
• 模擬人類行為：例如不規則的時間間隔，或者假裝在瀏覽頁面。

4. 增加偽裝
   在請求中加入 User-Agent 等 Header 信息，使得請求看起來像是來自普通的網頁瀏覽器：

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.82 Safari/537.36',
    'Accept-Language': 'en-US,en;q=0.9',
    'Connection': 'keep-alive',
}

使用代理 IP（proxy）來分散請求來源，避免單一 IP 被封鎖。

5. 開發流程建議

• 使用 .ipynb 開發：
  • 可分步調試爬蟲代碼，在抓取資料後，逐步定位和解析需要的部分。
  • 減少重複向伺服器發送請求的機會。
• 最後轉換為 .py：
  • 完成代碼後，將 .ipynb 文件的內容整理並轉換為 .py 文件，用於實際運行。

6. 爬蟲常用模組與工具指南
   爬蟲的主要目的是自動化抓取資料。在實現的過程中，會用到許多輔助模組和工具來完成資料請求、解析、處理與存儲等操作。以下是常用的模組及其應用場景：
   6-1. 資料請求與抓取

• 核心模組：
  • requests：用於發送 HTTP 請求，適合處理靜態網頁抓取。
  • selenium：用於控制瀏覽器，適合動態加載的網頁。
  • pandas：擅長處理結構化的數據，例如從 API 抓取 JSON 或 CSV 格式的數據。
• 間隔時間控制：使用 time.sleep 與 random 結合，在每次請求之間添加隨機延遲，模擬人類行為，降低被伺服器偵測的風險。

6-2. 執行進度監控
模組：tqdm：用於顯示進度條，幫助在大量資料抓取時掌握進度。

6-3. 資料解析

• 解析網頁原始碼：BeautifulSoup：解析 HTML 結構化數據，提取所需內容。
• 解析 JSON 格式數據：json：用於解析 JSON 格式的字串。
  • pandas：快速轉換 JSON 為結構化數據表。
• 處理 CSV 檔案：
  • pandas：讀取與處理 CSV 檔案。

6-4. 資料前處理

• 正則表達式：re：用於字串模式匹配與提取。
• 時間處理：datetime：用於處理時間與日期相關的數據。

6-5. 通知功能
當需要在爬蟲發現新數據或異常情況時，進行即時通知：

• 寄信通知：
  smtplib + email：用於配置 SMTP 服務發送郵件。
  SSL：保障郵件傳輸安全性。

• LINE 通知：
  LINE Notify：將於 2025 年 3 月 31 日停止服務，可考慮替代方案：
  改為使用 LINE Bot 進行通知。

• 寄信給自己。
  開發桌面應用程式（使用 tkinter 或 PyQt6），顯示通知彈窗。

6-6. 資料存儲與管理

• 檔案存儲：pandas：存儲抓取的數據為 CSV 或 Excel 格式。
• 檔案管理：os：處理檔案與目錄操作。
• glob：進行批量檔案搜索與處理。

6-7. 特殊情境與解決方案
網站防爬破解：
如果常規爬蟲工具無法抓取資料，可以考慮使用 pyautogui 撰寫模擬鍵盤與滑鼠操作的外掛。
注意：此方法會暫時失去電腦控制權，建議搭配 tkinter 製作遙控器，方便隨時暫停或終止程式執行。

Python爬蟲 基礎教學, 環境準備
進階Python爬蟲-自動更新header文章